针对单通道图像超分辨率方法难以同时实现快速的收敛性能以及高质量的纹理细节恢复的问题，提出一种基于双通道卷积神经网络的图像超分辨率增强算法。首先，网络分为深层通道和浅层通道，深层通道用于提取图像的详细纹理信息，浅层通道用于恢复图像的总体轮廓。然后，深层通道利用残差学习的优势，加深网络并降低模型参数规模，消除因网络过深导致的网络退化问题，构造长短期记忆块消除由反卷积层造成的伪影现象和噪声，采用多尺度方式，提取图像不同尺度的纹理信息，而浅层通道只需负责恢复图像主要轮廓。最后，融合两通道损失对网络不断优化，指导网络生成高分辨率图像。实验结果表明，相比基于深层和浅层卷积神经网络的端到端图像超分辨率算法（EEDS），所提算法收敛更迅速，图像边缘和纹理重建效果明显提升，其峰值信噪比（PSNR）和结构相似性（SSIM）在Set5数据集上平均提高了0.15 dB、0.0031，在和Set14数据集上平均提高了0.18 dB、0.0035。